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基于 日 志 挖 据 的 学 术 搜 索 困难 度量 方法 研究 


Bat EB uke 


ACU ABO EE bE ”北京 100875 “中 国 科 学 技术 信息 研究 所 ”北京 100038 


fi 要 : [目的 /意义 ] 用 户 检 索 中 经 常 面临 不 同 程度 的 信息 搜寻 困难 ,为 更 好 地 理解 用 户 需求 .改进 检索 系统 ,需要 一 种 简 
洁 有 效 的 方法 度量 信息 搜寻 的 困难 程度 。[ 方 法 /过 程 ] 将 用 户 为 查询 而 付出 的 行为 及 时 间 代 价 作为 其 信息 搜寻 


困难 的 体现 。 按 照 用 户 在 会 话 中 的 行为 模式 划分 会 


GRA ,将 查询 需求 被 满足 且 代 价 最 小 的 会 话 类 型 作为 比较 


基准 ,用 基准 会 话 的 代价 衡量 其 他 会 话 类 型 的 困难 程度 。 为 优化 代价 的 表达 模型 ,对 搜寻 代价 的 行为 指标 进行 相 

关 性 检验 ,用 因子 分 析 选 树 独 立 性 、 区 分 度 好 的 行为 特征 进行 建 模 。 以 国家 科技 图 书 文献 中 心 (NSTL) 日 志和 搜 

狗 日 志 为 数据 集 比较 学 术 搜 索 与 通用 搜索 环境 ,以 及 不 同 会 话 类 型 所 代表 的 探索 过 程 中 ,用 户 的 信息 搜寻 困难 
二 一 ” 度 。[ 结果/ 结论 ] 在 本 文 所 度量 的 两 种 搜索 系统 中 ,用 户 面临 的 信息 搜寻 困难 度 分 别 为 2.30 和 1.57, 学 术 搜索 中 
> ”的 困难 高 于 通用 搜索 。 在 两 种 体现 学 术 探索 过 程 的 会 话 中 ,困难 度 分 别 为 2.35 和 4.13。 本 文 提出 的 方法 可 以 用 简 
zZ 单 的 数值 来 概括 具有 多 种 影响 因素 的 搜索 困难 ,并 能 用 于 不 同类 型 会 话 和 搜索 环境 ,丰富 了 检索 系统 的 评估 手段 。 
Hil: 信息 搜索 困难 ”搜索 困难 度量 ”搜索 代价 ”学术 搜索 会 话 类 型 


ES: G25 


ye 10. 13266/j. issn. 0252 — 3116. 2021.09. 009 


角 、 缺 乏 领域 


ifi 用 户 频 繁 转 
eA AIGA] .多 次 点 击 搜索 结果 、 在 结果 详情 的 页 面 停留 
时 得 长 等 。 学 术 搜 索 中 的 信息 搜寻 困难 现象 尤为 党 
见 65 学 术 搜索 是 通过 学 术 搜索 引擎 或 文献 数据 库 对 学 
术 研究 领域 的 期 刊 .论文 .作者 等 实体 进行 的 检索 "1。 
在 探索 未 知 问题 的 过 程 中 ,学 术 用 户 需求 不 明确 的 情 
况 非常 普遍 ,但 人 们 并 不 清楚 用 户 到 底面 临 多 大 的 困 
难 ,也 没有 一 个 简单 明了 的 方法 度量 这 种 困难 。 度 量 
用 户 信息 搜寻 的 困难 是 一 种 有 用 的 系统 评价 手段 , 特 
别 是 对 学 术 搜索 这 样 的 应 用 ,有 大 量 查询 是 源 于 不 明 
确 的 需求 ,度量 用 户 的 困难 可 以 帮助 系统 管理 者 或 研 
究 者 更 好 地 理解 用 户 并 改进 系统 功能 。 

学 术 搜 索 与 通用 搜索 的 差异 主要 体现 在 ;用户 


询 词 特点 不 同 ,学 术 搜索 中 的 低频 查询 词 更 多 ,长 尾 分 
布 更 明显 , 且 查 询 词 经 常 是 文献 的 题目 、 作 者 名 称 等 ， 
因而 长 度 比 通用 搜索 要 长 ”;@ 点 击 浏览 特点 不 同 , 通 
用 搜索 用 户 在 搜索 过 程 中 倾向 于 点 击 浏览 搜索 结果 列 
表 中 排名 较 后 的 结果 ,而 学 术 搜索 用 户 会 修改 查询 
重新 进行 检索 。 

本 文 认 为 ,信息 搜寻 的 难度 体现 为 用 户 查找 信息 


持续 时 间 等 。 本 文 拟 根据 国家 科技 图 书 文献 中 心 (Na- 
tional Science and Technology Digital Library ,NSTL ) 和 搜 
狗 的 用 户 交 互 行为 日 志 , 对 完整 搜索 过 程 开 展 行 为 研 
究 ,并 对 比 学 术 搜 索 与 通用 搜索 环境 下 用 户 的 行为 特 
征 ,提出 查询 困难 程度 的 衡量 方式 。 需 要 说 明 的 是 ,本 
文 对 学 术 搜索 和 通用 搜索 的 比较 及 结论 就 是 通过 以 上 
两 个 实际 系统 的 对 比 得 出 。 


2 相关 研究 


查询 目的 不 同 ,前 者 为 了 科研 探索 ,经 常 有 较 高 比例 的 
实体 查询 和 对 文献 资源 的 下 载 需求 ”, 而 后 者 多 用 描 
述 的 方式 表述 需求 ,以 浏览 结果 的 方式 获取 信息 ;@ 查 


2.1 学 术 搜 索 和 通用 搜索 中 的 用 户 行为 特点 
通过 对 学 术 搜索 和 通用 搜索 中 用 户 行为 研究 的 梳 
理 ,发 现 两 者 有 较 大 差异 。 在 查询 特征 方面 ,学 术 搜 索 
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的 查询 词 长 度 会话 中 的 查询 数 .查询 的 持久 性 普遍 大 构 , 并 花费 较 多 的 时 间 筛 选 检索 结果 "…  。 总 而 言 之 ， 


于 通用 搜索 。 学 术 搜 索 系 统 ScienceDirect 和 CiteSeerX 
中 平均 查询 词 长 度 为 3.77 和 4.76” 个 词语 ,而 通用 
搜索 系统 AOL 中 的 查询 词 长 度 为 2.34“ 个 词语 ,搜狗 
中 为 3.11" 个 词语 。 典 型 的 通用 搜索 会 话 的 查询 次 
数 小 于 2 K” ,但 在 学 术 搜索 中 ,如 PubMed 用 户 会 话 
的 平均 查询 次 数 为 4. 44 次 ”。R. I Dogan 等 “深入 
分 析 了 PubMed 中 生物 医学 领域 用 户 的 行为 特征 ,发 
现 学 术 用 户 在 信息 搜寻 中 具有 持久 性 ,经 常会 进行 查 
询 重 构 ,一 般 会 按照 作者 名 称 ,基因 或 蛋白 和 疾病 名 称 
等 多 种 类 型 的 实体 进行 搜索 。 在 浏览 下 载 行为 方面 ， 
通用 搜索 中 超过 90% 的 用 户 只 浏览 前 5 个 返回 结果 的 
详情 ,而 在 学 术 搜 索 中 ,超过 80% 的 浏览 详情 发 生 
CEG 20 个 结果 ""。 出 于 检索 文献 的 需要 ,学 术 搜索 用 
户 最 常见 的 操作 依次 是 查询 下载 .点 击 浏 览 , 在 有 下 
载 的 会 话 中 ,平均 下 载 次 数 是 3 次 趾 。 从 行为 表现 上 
看 鲍 术 搜索 用 户 在 查询 过 程 中 更 有 耐心 .并 会 付出 更 
SARL o 
以 上 研究 使 用 的 用 户 行为 特征 包括 会 话 持续 时 
查询 频次 .查询 串 长 度 .用 户 在 结果 列表 中 的 点 击 
伐 蚀 \ 点 击 或 下 载 的 频次 等 ,可 为 本 文 研究 用 户 搜索 困 
难 带 用 合理 的 行为 特征 提供 参考 。 用 户 与 系统 交互 过 
种 中 的 行为 对 用 户 检索 体验 有 重要 的 指示 作用 。 例 如 
点 堆 浏 览 或 者 下 载 可 视 为 用 户 对 检索 结果 满意 的 隐 式 
HL. Yoo 等 "" 认为 理想 的 会 话 是 查询 一 次 
就 蹇 浏览 或 下 载 行为 ,车 经 过 儿 次 查询 后 有 浏览 或 下 
载 行为 ,也 可 以 视 为 用 户 信息 需求 得 到 满足 的 标志 。 
20) 信息 搜寻 困难 相关 的 用 户 行为 研究 

言 息 搜 寻 行 为 是 用 户 在 信息 需求 驱动 下 ,在 人 机 
交互 中 表现 出 来 的 有 目的 性 的 系列 活动 ，"!。 搜 索 
任务 难度 是 指 执行 者 对 完成 搜索 任务 所 需 工 作 量 的 评 
价 59 。 难 度 可 以 通过 客观 度量 来 评估 ,比如 任务 执行 
时 间 和 查询 或 浏览 页 面 的 数量 ,也 可 以 通过 主观 度量 
来 评估 ,比如 用 户 对 感知 难度 的 自我 评估 。 

目前 关于 任务 难度 的 研究 主要 集中 在 两 个 方面 : 
一 是 任务 难度 对 搜索 行为 的 影响 ;二 是 根据 用 户 行为 
对 其 是 否 面临 困难 进行 判断 。 在 难度 对 行为 的 影响 研 
TEJ. Kim!" 在 整个 会 话 层面 检验 了 任务 难度 与 用 
户 检索 行为 的 相关 性 ,发 现 不 管 是 简单 的 事实 性 任务 
还 是 查询 目标 模糊 的 探索 性 任务 ,用 户 对 困难 程度 的 
主观 评价 都 与 如 下 行为 显著 相关 ,包括 :完成 任务 所 需 
的 时 间 查询 次 数 、 浏 览 结果 的 数量 。 在 搜索 目标 模 
糊 、 无 明确 边界 的 开放 式 任务 中 ,用 户 经 常 进行 查询 重 


困难 的 任务 与 如 下 行为 有 相关 性 :更 长 的 完成 时 间 更 
多 的 查询 点 击 数 、 在 搜索 结果 页 面 停留 更 长 时 间 甚至 
更 多 次 放弃 的 查询 。 以 上 结论 为 基于 行为 度量 用 
户 搜寻 难度 的 研究 提供 了 基础 。 在 根据 用 户 行为 判断 
其 面临 搜寻 困难 的 研究 上, 本文 与 相关 工作 最 大 的 
不 同 是 ,后 者 主要 是 基于 分 类 算法 判断 任务 的 难 
Hy) ,不 能 对 困难 程度 进行 更 细 的 区 分 。 例 如 ,A. 
Hassan 等 和 D，0dijk 等 ”通过 分 类 算法 区 分 了 用 
会 话 是 属于 艰难 前 进 型 ,还 是 探索 型 。 本 文 则 是 构 
建 了 一 个 困难 程度 计算 模型 ,衡量 搜寻 困难 程度 ,并 且 
首次 使 用 学 术 搜索 和 通用 搜索 两 种 日 志 数 据 度量 用 户 
在 搜索 过 程 中 面临 的 困难 。 
关于 搜索 困难 的 研究 方式 主要 有 用 户 实验 和 日 志 
挖掘 两 种 。 用 户 实验 是 在 受 控 环境 下 观察 用 户 完成 不 
同 难度 搜索 任务 时 的 行为 特点 ”” ,通过 邀请 被 试 完 
成 事先 设 定 的 不 同 难度 任务 ,分 析 用 户 在 检索 过 程 中 
自我 评价 的 任务 难度 与 其 搜索 行为 之 间 的 相关 性 。 其 
优点 是 能 够 深入 且 有 针对 性 地 分 析 用 户 行 为 的 影响 因 
素 ,但 实验 条 件 与 用 户 真 实 的 检索 情境 还 是 存在 差别 。 
日 志 是 分 析 用 户 搜索 行为 规律 的 重要 依据 ,可 以 以 会 
话 为 单位 ,研究 用 户 在 一 次 真实 检索 情境 下 的 搜索 行 
为 特点 。 
2.3 ”日志 中 的 会 话 划分 研究 
会 话 是 用 户 为 了 特定 信息 需求 与 系统 交互 的 过 
程 ,包括 交互 过 程 中 产生 的 一 系列 行为 。 会 话 划 
分 对 分 析 用 户 查 询 及 其 探索 过 程 的 完整 性 很 重要 。 以 
往 研 究 中 ,会话 的 划分 主要 有 三 种 :最 简单 的 是 使 用 固 
定 的 持续 时 长 2 或 相 邻 查询 的 时 间 间 隔 来 划分 ,超过 
时 间 阔 值 的 记录 就 被 划分 到 下 一 个 会 话 。 时 间 阔 值 在 
不 同 的 研究 中 使 用 不 同 的 经 验 值 , 如 通用 搜索 中 的 5 
分 钟 &21 10 - 15 44h) 42 OPAC 日 志 中 的 30 分 
钟 ,购物 日 志 中 的 45 分 钟 ” ,等 等 。 但 按时 间 阔 值 
的 划分 方式 不 一 定 适 于 学 术 搜 索 , 因 为 学 术 用 户 的 搜 
索 兴 趣 可 能 很 持久 , 按 上 述 阔 值 分 割 日 志 会 将 对 一 个 
主题 的 查询 行为 分 到 不 同 会 话 片段 ,难以 捕捉 相对 完 
整 的 搜索 活动 。 为 了 使 搜索 过 程 被 尽量 完整 地 包括 进 
会 话 中 ,有 的 研究 以 系统 分 配 访问 标识 作为 一 个 会 话 
的 标志 ,例如 T，Jiang 等 ”将 用 户 开始 对 OPAC 系统 
发 出 访问 请 求 到 离开 系统 之 间 的 所 有 行为 都 归 为 一 个 
会 话 ,R. L Dogan 等 中 则 将 用 户 在 24 小 时 内 同一 个 
cookie ID 的 行为 记录 都 划 入 一 个 PubMed 会 话 , 并 假 
设 用 户 在 一 个 会 话 中 所 有 的 查询 都 是 与 同一 个 主题 相 
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关 的 。 然 而 这 种 方式 可 能 造成 一 个 会 话 中 混杂 多 个 查 
询 意 图 ,于 是 有 的 研究 又 采用 混合 原则 ,例如 B. J. 
Jansen 等 ”采用 卫 地 址 浏览 器 cookie ID 加 上 相 邻 查 
询 词 相似 作为 会 话 划分 依据 ,得 到 较 好 的 分 割 效 果 ,会 
话 中 相 邻 查询 的 主题 一 致 性 对 会 话 划分 有 重要 的 影 
响 。A. Hassan 等 "考虑 了 时 间 间 隔 和 查询 主题 一 致 
性 ,将 两 个 查询 的 时 间 间 隔 小 于 10 分 钟 , 且 有 共同 的 

返回 结果 或 相似 的 查询 词 的 记录 划分 到 同一 个 会 话 。 


3 研究 设计 
3.1 基本 概念 和 研究 思 
Mi 息 搜 寻 困 难 的 度量 。 


= 


(2) 探索 目标 。 是 指 用 户 逐 步 认 识 目标 .明确 查 
询 需求 的 过 程 。 典 型 表现 是 用 户 提 交 查 询 后 ,点 击 系 
统 返 回 的 结果 列表 并 浏览 某 个 结果 详情 ,或 调整 表述 
再 次 查询 。 因 此 将 会 话 中 出 现 Q、B 或 上 内 含 0 作为 探 
索 目 标的 行为 标志 。 

(3) 搜 寻 代价 。 指 为 了 探索 或 达到 目标 而 在 QB 
行为 上 花费 的 时 间 及 频次 开销 。 

(4) 搜 寻 困 难 程度 。 本 文通 过 用 户 在 特定 环境 下 
付出 的 搜寻 代价 大 小 来 反映 。 

研究 思路 为 :首先 进行 会 话 划分 ,按照 日 志 中 同一 
有 户 的 相 邻 查询 串 的 相似 性 划分 。 其 次 定义 会 话 类 
型 ,根据 用 户 在 探索 目标 和 达到 目标 过 程 中 的 行为 特 


y 


会 话 * 中 包括 用 户 为 了 特定 信息 需求 与 系统 交互 

MAININ. 学 术 搜 索 中 的 典型 行为 有 :用 户 提交 

A re Kee 吉 果 中 点 击 浏览 详情 页 面 以 及 下 载 文献 ， 

人 hi 为 0.8.D。 用 户 的 搜寻 意图 通过 查询 来 表达 ， 
查询 的 最 终 目 标 不 一 定 是 下 载 文献 ,但 下 载 文献 

是 最 明确 的 判断 依据 。 因 此 定义 以 下 名 词 ， 

ep) 达到 目标 。 学 术 搜 索 中 ,用 户 的 下 载 行为 比 


征 ,将 学 术 搜 索 会 话 划分 为 So 到 $ 4 种 类 型 ,如 表 1 
所 示 。 其 次 ,选取 反映 搜寻 代价 的 行为 指标 ,计算 各 类 
型 会 话 中 的 行为 特征 ,通过 相关 分 析 和 因子 分 析 , 找 出 
独立 性 好 、 具 有 代表 性 的 基本 特征 对 搜寻 代价 建 模 。 
再 次 ,度量 不 同 会 话 类 型 的 搜寻 困难 程度 ,以 搜寻 代价 
最 低 且 达到 目标 的 会 话 类 型 为 基准 ,其 他 类 型 会 话 的 
代价 与 基准 代价 相 比 ,得 到 用 户 的 信息 搜寻 困难 度 。 


EAE aaa ee 
ES sib MAL D 作为 用 户 达到 搜索 目 


a 
N 


if #1 会 话 类 型 与 含义 


最 后 ,本 文 比 较 了 学 术 搜索 和 通用 搜索 环境 以 及 学 术 
搜索 的 不 同 会 话 类 型 中 用 户 所 面临 的 困难 , 见 图 1 。 


= 会话 类 型 的 含义 行为 构成 会 话 中 的 行为 序列 原子 行为 模式 经 验 认 识 
<。 过 到 目标 So: 1@,D] q+ d+ (ld) * qed 搜寻 代价 最 低 

© 探索 目标 Sı: 10] 4 代价 较 低 ,直接 放弃 或 浅 探索 
,= 二 探索 目标 Sp: {0,B| gt+ b+ (glb)* qo 代价 较 高 , 深 探索 
-一 探索 并 达到 目标 S3: 1Q,B,D} qt—d*—b* (> q|b) *>d* (> qlbld) * g—b—d 搜寻 代价 较 高 

“ 往 ; 表 1" 会 话 的 行为 序列 "中 * +” 和 “*” 分 别 表示 状态 出 现 1 到 多 次 和 0 到 多 次 

pe 结束 任务 或 者 直接 放弃 查询 。 
Æ 18s 
在 学 术 搜 索 中 ,根据 一 个 会 话 中 包括 的 用 户 行 为 


计算 各 类 型 会 话 
中 的 行为 数据 } 


定 
时 
A 
= 
话 
类 
型 


图 1 研究 思路 


3.2 会 话 的 类 型 与 搜寻 代价 

在 通用 搜索 中 ,假设 用 户 达 到 目标 表现 为 找到 特 
定 的 网 页 ,理想 情况 是 查询 一 次 就 找到 目标 ,那么 用 户 
在 达到 搜索 目标 时 搜寻 代价 最 低 的 行为 序列 是 QB, 
即 “ 输 入 查询 一 浏览 详情 页 面 ”, 而 后 结束 任务 ;其 他 
情况 有 :修改 查询 词 重新 检索 浏览 ,直到 达到 目标 而 


的 不 同 , 分 为 4 种 可 能 的 会 话 类 型 56、5,、5,、S;。 表 1 
中 是 它们 的 含义 及 行为 构成 ,用 正则 表达 式 归 纳 其 行 
为 序列 ,并 给 出 最 简单 的 原子 行为 模式 及 对 其 代价 的 
经 验 认识 。 其 中 ,根据 3.1 节 对 “达到 目标 ”的 定义 ,S。 
Al S, 属于 达到 目标 ,S, 和 $ 是 探索 而 未 达到 目标 。 
前 者 按照 搜寻 代价 分 为 两 种 ,如 果 用 户 目 标 比 较 明 确 ， 
例如 要 找 一 篇 题目 已 知 的 文献 ,只 经 过 qd 过 程 就 可 
以 达到 目标 ,该 类 会 话 记 为 So ,搜寻 代价 最 小 ;如 果 用 
户 搜寻 目标 模糊 或 不 能 准确 地 表达 信息 需求 , 则 会 浏 
览 详 情 甚 至 多 次 查询 .浏览 才 会 有 下 载 ,过 程 bd 
体现 为 探索 ,该 类 会 话 记 为 5; ,搜寻 代价 较 高 。 对 未 达 
到 目标 的 两 种 会 话 5S, AIS, ,$, H qb 过 程 ,表现 为 探 
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RS 中 用 户 查询 后 就 结束 了 会 话 , 行 为 中 只 有 @ , 没 
有 B 和 DD, 即 使 用 户 对 目标 有 所 探索 ,程度 也 比较 浅 ， 
付出 的 代价 也 相应 较 小 。 


为 特征 ,也 是 本 文 借鉴 相关 工作 ,在 学 术 搜 索 的 下 载 行 
为 特点 中 新 增 的 指标 。 

de 例如 “会 话 上 中 所 有 查询 
的 平均 点 击 浏览 位 序 ”" 和 “会 话 记 中 最 大 的 点 击 浏览 位 


定义 单 轮 会 话 占 比 , 可 以 用 于 解释 用 户 对 某 一 主 
题 探 索 程度 的 “ 深 " 与 “ 浅 " 。 将 仅 包含 原子 行为 模式 


的 会 话 称 为 单 轮 会 话 , 单 轮 会 话说 明 其 中 的 行为 没有 
多 次 重复 ,用 户 没有 在 搜索 中 进行 更 多 探索 。 在 某 类 
会 话 5, 中 , 单 轮 会 话 构 成 的 集合 记 为 S ,P = 15,'1/ 
1S;! 表 示 在 第 i 类 会 话 中 , 单 轮 会 话 数 的 占 比 。 
3.3 信息 搜寻 的 基本 行为 

会 话 中 包含 用 户 搜 寻 时 的 各 类 行为 及 其 发 生 时 


,行为 的 内 容 和 结果 等 。 表 2 将 前 人 研究 中 采用 过 

会 话 行 为 归纳 成 查询 OF ,浏览 BF 、 下载 DF 查询 转 
aa QTF 时间 TF 以 及 点 击 结 果 位 序 RF 等 6 种 特 
fee It 中 下 载 特征 DF 中 的 NumQueriesFirstDownload 
和 NnmBrowseFirstDownload 是 指 在 第 一 次 下 载 之 前 的 


从 出 数 和 浏览 数 ， 是 反映 用 户 探索 初期 确定 目标 的 行 


序 " 有 相关 性 。 为 衡量 搜寻 困难 程度 ,对 搜寻 代价 进行 
建 模 需 要 选取 区 分 性 和 独立 性 较 好 的 指标 。 为 此 ,对 
表 2 中 的 指标 进行 因子 分 析 。 因 子 分 析 是 利用 降 维 的 
思想 ,从 研究 原始 变量 相关 和 矩阵 内 部 的 依赖 关系 出 发 ， 
提取 数据 中 对 变量 起 解释 作用 的 少数 公共 因子 。 

表 2 所 列 查询 特征 QF 中 ,CharQueryLen、 
WordQueryLen 是 反映 查询 串 的 长 度 特征 ,查询 转换 特 
{E OTF 中 ,AvgQuerySim、AddTerms 、DelTerms 是 考察 相 
邻 查询 串 相似 度 的 指标 ,它们 体现 的 是 查询 内 容 的 变 
化 ,不 直接 反映 搜寻 行为 代价 ,因此 本 文选 取 其 余 10 
个 行为 指标 进行 相关 分 析 和 因子 分 析 。 最 终 找 出 与 其 
他 行为 相关 度 较 高 的 公共 因子 ,根据 这 些 因 子 具 有 的 
含义 选取 对 应 的 行为 指标 ,构成 基本 行为 集合 


表 2 会 话 中 的 搜索 行为 特征 指标 


<f Type Name Description 
Cy Features ( QF ) NumQueries! 14.20 -21] Number of queries in a session 
it AvgCharQueryLen!!9 -20] Average number of characters of queries in a session 
O AvgWordQueryLen/20 -21] Average number of words of queries in a session 
Gd Features ( BF ) NumBrowsel ?0 -21] umber of browse in a session 
= BrowsePerQuery /20! Average number of browse per query 
> 


NumQueriesFirstBrowse [19] 
es Transition Features ( QTF ) AvgQuerySim!20! 


AddTerms 20-21] 


ina 


DelTerms 20 -211 


“Time Features ( TF ) 
Q 


Rank Features (RF) 


Total DwellTime!!,201 
MaxRanks!7> ?!] 


AveRanks 7.2! 


Download features ( DF) NumDownloads!!! 


NumQueriesFirstDownload 


NumBrowseFirstDownload 


3.4 信息 搜寻 困难 的 度量 模型 

基于 用 户 日 志 研 究 搜 寻 困 难 的 前 人 工作 并 不 多 。 
A. Hassan 22°) 和 D. Odijk 等 ”通过 日 志 中 的 用 户 行 
为 特征 来 判断 搜索 会 话 是 属于 探索 还 是 陷入 困难 ,但 
并 未 对 搜索 困难 的 程度 进行 度量 。 本 文 根 据 基 本 行为 
的 代价 对 信息 搜寻 的 困难 程度 建 模 ,可 对 不 同 会 话 AS 
司 会 话 类 型 以 及 不 同系 统 的 搜索 代价 进行 比较 。 考 虑 
到 学 术 用 户 探寻 式 搜索 较 多 ,为 了 对 学 术 搜 索 中 用 户 
面临 的 困难 有 一 般 性 的 认识 ,本 文 首先 从 会 话 类 型 层 
面 比较 度量 ,进而 是 系统 层面 。 


umber of queries before the first browse 
Similarity between adjacent queries 


umber of added terms 


umber of removed terms 

Total dwell time in a session 

Maximum ranks of the browsed results of queries in a session 
Average ranks of the browsed results of queries in a session 
Number of downloads in a session 

Number of queries before the first download 


Number of browsed pages before the first download 


(1) 比较 基准 。 
价 最 低 的 会 话 类 型 

结果 的 行为 开销 。 

(2) 基本 行为 集合 。 以 反映 搜索 代价 ,并 且 具 有 
相互 独立 性 和 代表 性 的 行为 指标 构成 的 集合 , 记 为 7， 

第 7 种 基本 行为 r eT,je[1,M],M=17T|。 

(3 ) 会 话 类 型 层面 的 度量 模型 。 设 特定 应 用 中 的 
会 话 类 型 构成 集合 S,S= |1So3 ie L1, N], N 
ERR So 之 外 的 会 话 类 型 数 。 AW S, eS HS, = 
sg ss 代表 S; a kDa. Ke AR 


选择 用 户 达 到 目标 时 付出 搜索 代 
„EI Soo So 中 没有 反复 浏览 详情 得 


asya 
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RA J 种 基本 行为 在 $; 类 会 话 上 的 平均 代价 。 

t=1/n Dot, 

代价 以 具体 行为 的 时 长 或 频次 表示 。$; 类 会 话 中 
用 户 面临 的 信息 搜寻 困难 程度 可 以 用 搜索 代价 c; 计 
算 , 即 通过 基本 行为 的 代价 #& 与 5。 中 对 应 的 行为 代价 
ty 之 比 加 权 得 到 ,其 计算 公式 为 : 


t 


1 1 
EM Lie 式 (1) 


(4) 系 统 层面 的 度量 模型 。 由 5 中 每 种 会 话 类 型 
的 数量 占 比 及 其 对 应 的 困难 程度 加 权 组 成 ,其 计算 公 
式 为 : 


Pas oh * c 式 (2) 

其 中 , 是 S, 类 会 话 在 整个 系统 中 的 数量 占 比 。 
需要 说 明 的 是 ,如 果 比 较 基准 选择 的 是 代价 最 小 的 单 
1 给 话 %, 也 可 以 按 上 述 思路 计算 单个 会 话 % 的 困难 
PEDD Anh ? 就 是 单个 会 话 中 的 基本 行为 的 数值 而 非 


4 一 实验 


实验 数据 及 预 处 理 
CJ 本 文 分 别 选 取 NSTL 和 搜狗 代表 学 术 搜索 系统 和 
通用 搜索 系统 ,对 前 者 日 志 选 择 2017 年 7 月 1 日 至 28 
加 的 检索 .浏览 和 下 载 记 录 , 约 22.6 万 条 ,各 字段 及 
含 广 见 表 3 ;后 者 日 志 为 搜狗 实验 室 公开 发 布 的 搜狗 
PK 2008 年 6 月 某 24 小 时 内 的 访问 数据 , 约 170 
万 窗 记 录 , 各 字段 及 含义 见 表 4。 其 中 ,搜狗 日 志 中 的 
四 蒜 记 了 用 户 从 开始 访问 到 离开 系统 之 前 行为 的 集 
售 彼 不 对 应 单个 查询 主题 ,但 能 够 标识 特定 用 户 的 一 
次 访问 。 而 NSTL 中 的 UserID 有 所 不 同 ,科研 机 构 会 
购买 集团 账号 供 内 部 用 户 使 用 ,因此 UserID 不 能 指 代 
特定 个 体 ,即使 日 志 中 有 同一 个 UserID 的 连续 查询 ， 
也 有 可 能 是 多 个 用 户 发 出 的 ,其 查询 内 容 自然 不 相同 。 
为 此 本 文 借鉴 B. J. Jansen 研究 中 的 做 法 29 ,采用 
UserID + IP 区 分 用 户 ,对 同一 个 UserID 且 相 同 IP 的 记 
录 , 人 工 判断 查询 的 主题 一 致 性 ,如 果 相 邻 查询 至 少 共 
享 一 个 完全 相同 或 者 相近 的 非 停 用 词 , 则 被 划分 到 同 
一 个 会 话 ,否则 分 到 两 个 相 邻 会 话 。 对 NSTL 日 志 进 
行人 工 标注 后 得 到 会 话 2 933 个 ,包括 15 372 条 行为 
记录 。 对 搜狗 日 志 ,剔除 重复 的 ID 记录 和 异常 查询 
后 ,得 到 63 060 个 唯一 四 ,随机 采样 抽取 其 中 5% 的 
ID ,人工 标注 得 到 8 324 个 会 话 ,包括 36 752 条 行为 记 
录 。 会 话 类 型 见 3.2 节 表 1。 
通用 搜索 用 户 找到 目标 后 一 般 是 点 击 结果 浏览 


非 下 载 ,因此 日 志 只 包含 0、B 两 种 行为 。 搜 狗 数 据 又 
过 滤 了 仅 含 查询 的 条 目 , 所 以 实验 所 用 的 通用 搜索 日 
志 的 会 话 行 为 模式 比较 单一 ,但 又 不 同 于 学 术 搜 索 中 
S, 类 型 ,因为 通用 搜索 中 的 QB 更 可 能 代表 查询 成 
功 。 为 了 与 学 术 搜 索 的 S 区 分 ,将 通用 搜索 会 话 标 为 


S, 类 型 。 
表 3 学 术 搜 索 日 志 主 要 字段 名 称 与 格式 示例 
字段 名 字 字段 含义 格式 示例 
UserID 用 户 名 字符 品 

IP IP 地 址 k.k. k, k 

QueryDate 查询 时 间 2017/7/20 15 :03 :24 
Type 访问 文献 的 类 型 [J02] /表示 English Journal 

Query Words 查询 表达 式 字符 串 , 如 “Big Data” 
BrowseDate 浏览 时 间 2017/7/20 15:05 :24 

DocID 文章 编号 32 位 16 进 制 

URL 访问 URL 信息 如 nstl. gov. cn/search. html? t= +++ 


RequestDate 请 求 下 载 时 间 2017/7/20 15 :13 :12 


表 4 搜狗 搜索 日 志 主要 字段 名 称 与 格式 示例 


字段 名 称 字段 含义 格式 示例 
QueryDate 用 户 查 询 或 点 击 的 时 间 01 :22 :34 
ID 系统 自动 分 配 的 session 标识 号 18630035486060958 
QueryWords 户 提交 的 查询 式 URL 或 字符 串 
Rank 该 URL 在 返回 结果 中 的 排名 1 
ClickRank 户 的 点 击 结 果 中 的 顺序 号 1 
URL 用 户 点 击 的 URL www. com/index. php 


4.2 ”学术 搜索 和 通用 搜索 中 的 用 户 行 ; 
(1) 不 同 会 话 类 型 的 行为 特征 。 表 5 是 学 术 搜 索 各 
类 会 话 的 数量 分 布 p, 以 及 单 轮 会 话 在 同类 型 会 话 中 的 
占 比 p;。 表 6 给 出 了 学 术 与 通用 搜索 中 不 同类 型 会 话 
对 应 的 搜索 行为 特征 平均 值 ,其 中 的 指标 来 自 表 2。 
RS 学术 搜索 中 的 会 话 类 型 及 单 轮 会 话 占 比 


会 话 类 型 1Sil Pi pi/% 
So:1Q,D} 538 18. 34 84. 20 
Si: fQ} 1314 44. 80 76. 48 
S23:10,B| 717 24. 45 24. 97 
53:1Q,B,D} 364 12.41 37. 09 


基准 会 话 Sy 代表 在 学 术 搜索 中 能 直接 达成 查询 
目标 的 会 话 ,但 根据 表 5 ,5。 型 会 话 只 占 18. 34% ,其 中 
单 轮 会 话 占 84. 20% 。 也 即 NSTL 系统 数据 中 只 
15.44% 的 学 术 搜 索 查 询 需 求 明 确 且 直接 命中 资源 。 
根据 表 6,5。 型 会 话 的 平均 查询 长 度 为 83. 55 个 字符 ， 
EES, Sy S3 都 高 ,这 说 明 需 求 明 确 的 学 术 用 户 是 直接 
以 文献 标题 搜索 并 下 载 文献 。 而 且 学 术 搜 索 各 类 型 会 
话 的 平均 查询 词 长 度 都 远 高 于 通用 搜索 , 这 是 因为 前 
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表 6 不 同类 型 会 话 的 搜索 行为 特征 平均 值 
Type Name So Sy S2 S3 S4 
Query Features (QF) NumQueries 1.36 1:52 3.36 4.34 1.80 
CharQueryLen 83.55 55.46 23. 66 48.46 8.40 
WordQueryLen 8.41 6.27 3.74 5.82 1.89 
Browse Features ( BF ) NumBrowse — 一 一 一 4. 15 9.44 4.41 
BrowsePerQuery = = 1.68 3.18 2.27 
NumQueriesFirsBrowse 这 一 — 1.70 1.57 — 
Rank Features (RF ) AvgRanks 17.63 18.23 * 25.00 24.45 8.31 
MaxRanks 20. 15 20.77 * 38.64 41.04 13.34 
Download Features ( DF) NumDownloads 1.84 一 一 一 一 3.37 一 一 
NumQueriesFirstDownload 1.22 — = 一 一 2.98 ~ 一 一 
NumBrowseFirstDownload 5.51 == 
Time Feature( TF) Total DwellTime( one day )/ 分 钟 20. 80 7.50 77.60 90. 50 38.20 
Total DwellTime/ 分 钟 525.60 178.60 721.70 1 307.60 38.20 


A 
V- 


` 


4 NEN OZ, A T ET 


:由 于 搜狗 日 志 只 有 2 
her 
EDS, 中 没有 行为 B。 在 其 他 类 
AR URRI 要 需求 ,用 户 更 愿意 提交 较 
长 网 查询 字符 串 。 

Ts 1 型 会 话 只 包含 查询 行为 ,无 浏览 和 下 载 ,其 中 单 
ei A 76. 48% ,说 明 大 部 分 用 户 只 提交 一 
次 吞 询 就 结束 会 话 。 只 有 少数 会 话 对 同一 主题 进行 了 
Sie, 会 话 中 的 平均 查询 次 数 为 1.52。 这 类 会 话 
中 的 探索 1 行为 较 少 ,本 文 不 考虑 这 种 会 话 的 代价 。 
=s, 和 5, 型 会 话 体现 探索 过 程 , 据 表 5 ,它们 在 会 话 
Hie 24. 45% 和 12.41% , 但 单 轮 会 话 的 占 比 只 
2460796 和 37 09% , 表 6 显示 这 些 会 话 的 平均 查询 次 
HO 3. 36 和 4.34 次 ,浏览 的 结果 在 检索 结果 列表 的 
PEPE 25 和 24. 45。 特 别 是 S, 型 会 话 中 ,Num- 
Browse 为 9.44, 远 高 于 通用 搜索 的 4.41。 这 说 明 学 术 
搜索 用 户 探 索 过 程 相 对 深入 ,5S; 尤其 典型 ,在 查询 未 能 
直达 目标 的 情况 下 ,用 户 仍 愿 继 续 付出 搜寻 代价 。 相 
比 而 言 ,通用 搜索 的 Ss 型 会 话 中 平均 查询 只 有 1.8 
次 ,平均 点 击 浏览 的 位 序 为 8.31。 

(2 ) 会 话 持 续 时 长 。 会 话 持续 时 长 是 用 户 探索 深 
入 程度 的 重要 指标 。 表 6 中 Total DwellTime 统计 了 各 
种 类 型 会 话 的 平均 持续 时 长 ,顺序 为 $ > S, > So > $， 
> 5,。 由 于 存在 一 些 持续 时 间 超 过 儿 天 的 异常 会 话 ， 
本 文采 用 两 种 处 理 方法 ,一 是 取 在 24 小 时 内 结束 的 会 
话 ,平均 持续 时 长 Total DwellTime (one day) X S, >S, 
> S, > So > 3 ,具体 可 见 表 6; 二 是 按 持续 时 长 排序 后 ， 
取 数 量 为 前 80% 的 会 话 , 仍 得 到 上 述 次 序 ,是 80% 的 
So 型 会 话 持 续 时 间 不 超过 6. 92 分 钟 ,S, 型 为 0.47 分 


m 


的 会 话 的 平均 时 长 。 表 中 * 号 标的 S, 型 会 话 的 点 击 位 序 特 征 
型 会 话 中 ,RF 特征 的 值 代表 用 户 为 了 浏览 让 


FF 比较 学 术 搜索 和 通用 搜索 的 用 户 行为 ,Total AvgDwellTime( one day ) 是 只 考虑 在 24 小 时 
RF 体现 了 用 户 在 返回 结果 中 有 翻 页 ,但 这 不 同 于 其 他 会 话 类 型 中 的 点 击 


举 情 而 点 击 的 结果 位 序 


钟 ,S, 型 为 107. 87 分 钟 ,S， 
20. 60 分 钟 ,如 图 2 所 示 : 


一 一 5S0 -Sl ae 52 一 (一 53 et 


型 为 589. 08 分 钟 。5, 为 


会 话 持续 时 长 LOG(DW+1) 


0 10 20 30 40 50 60 70 80 90 100 


会 话 数 百分比 /% 


图 2 各 类 型 会 话 持续 时 间 分 布 


图 2 是 各 类 型 会 话 持续 时 间 分 布 。 会 话 按 持续 时 
长 DW 升序 排列 ,由 于 差异 较 大 ,为 了 便于 作 图 ,用 y- 
对 数 坐 标 系 。 横 坐标 为 会 话 数 百分比 , 纵 坐 标 为 
log(DW+1) 的 值 。 如 果 只 考虑 前 80% 的 会 话 ,可 以 看 
出 S 型 会 话 的 时 长 短 且 数值 稳定 。5, 时 长 极 短 , 且 曲 
线 低 缓 ,说 明 这 类 型 会 话 的 用 户 未 对 查询 主题 进行 深 
和 人 的 探索 。5,、S; 和 5 的 会 话 时 长 都 随 会 话 数量 百 分 
比 上 升 而 递增 明显 ,但 前 两 条 曲线 在 S, 的 上 方 ,这 体 
现 了 学 术 搜 索 用 户 在 探索 主题 时 的 耐心 和 查询 持续 性 
高 于 通用 搜索 , 另 一 方面 从 S, S, 的 耗 时 也 说 明 学 术 
搜索 的 代价 高 .困难 程度 较 大 。 
4.3 基本 行为 特征 的 选择 

对 表 6 中 所 列 行为 特征 进行 相关 分 析 和 因子 分 
析 , 选 择 反映 搜索 代价 的 基本 行为 特征 。 
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4.3.1 相关 性 分 析 

由 于 S, 的 探索 特点 明显 ,数据 较 全 ,本 文选 用 5， 
会 话 研究 。 对 每 组 表示 行为 特征 的 数据 进行 单 样本 的 
Kolmogorov-Smirnov 检验 ,由 于 各 组 数据 的 显著 性 均 小 


于 0.05 ,不 服从 正 态 分 布 ,因此 采用 Spearman 检验 各 
组 数据 之 间 的 相关 性 ,结果 见 表 7, 各 行为 特征 之 间 的 
相关 性 大 于 0.5 的 值 在 下 三 角 区 加 粗 标 出 。 


表 7 10 个 行为 指标 的 相关 性 分 析 结 果 


相关 系数 
characteristic 
ee . ` NumQueries NumBrowse NumQueries 
varabres' NumQueries NumBrowse NumDownloads BrowsePerQuery Total DwellTime : X AvgRanks MaxRanks 
FirstDownload FirstDownload FirsBrowse 
NumQueries 1 623 ** 505 ** -.495 ** 662 ** . 858 ** 483 ** 547 612 ** . 664 ** 
NumBrowse 623 ** 1 618 ** aig ** 564 ** 526 *™ R ye Dg 163-** 564 ** 577 
NumDownloads 565 ** 618 ** 1 0. 097 480 ** .471 ** 487 ** 这 现时 617 i 623 ** 
BrowsePerQuery 一 .495 ** sala "e 0.097 1 -.210 ** 一 .421 ** .287 ** -.2™ -0.049 -.110* 
Total DwellTime 662 ** 564 ** . 480 ** 一 .210 ** 1 . 492 ** .427 ** -320 ** .456 ** .479** 
NumQueriesFirstDownload .858 ** .526 ** .471 ™* -.421 ** .492 ** 1 492 ** 659 ** 592. ** . 634 ** 
NumBrowseFirstDownload 483 ** 875 ** 487 ** . 287 ** 427 ** 492 ** 1 0.056 520°" . 524 ** 
== 
‘Num QueriesFirsBrowse 547 ** . 163 ** 79 一 .402 ** . 320 ** . 659 ** 0. 056 1 :23 ™ 8 
©) AvgRanks .612 ** 564 ** .617 * -0.049 .456 ** 592 ** 520 ** .293 ** 1 .989 ** 
axRanks . 664 ** sn . 623 ** -. 110 * .479 ** . 634 * 524" . 328 ** . 989 ** 1 
COPE : “表示 在 置信 和 度 ( 双 测 ) 为 0.01 时 ,相关 性 显著 ; 表示 在 置信 度 ( 双 测 ) 为 0.05 时 ,相关 性 显著 
O 
x 表 8 旋转 成 份 矩 阵 
选取 包含 行为 种 类 最 多 的 5 型 会 话 , 对 表 7 中 的 _ 成 份 ( 公 因子 ) 
基本 行为 变量 
= BEAST ASS 
) 种 行为 的 数据 进行 因子 分 析 , 按 照 特 征 值 大 于 1 的 ! : 2 4 
QN NumQueries .141 . 850 .161 .280 
标准 提取 公 因 子 ,得 到 3 个 公 因 子 。 在 KMO 和 Bartlett 
w NumBrowse .925 .067 .023 .050 
的 和 检验 中 ,KMO 的 值 为 0.600, Bartlett 球形 统计 量 为 NumDownloads 414 .29 .513 078 
加 图 
1 S41 . 620 ， Sig. 的 值 小 于 0.05 ， 此 ， 样本 数据 适 合 做 BrowsePerQuery .734 —.249 - 460 -.051 
eee WAN x 4E i Total DwellTime .006 .101 一 .008 955 
AEA ET o 当 A FA 3 时 aes 解释 了 68. 08% 的 方 NumQueriesFirstDownload .013 .888 #125 . 162 
公 因 子 的 数量 为 4 时 , 共 解 释 了 77.52% 的 方差 。 NumBrowseFirstDownload .784 .201 .005  -.025 
人 
三 是 一 、 NumQueriesFirsBrowse 069 712 -.051 -.178 
Pea 是 旋转 成 分 和 矩阵 ,各 列 是 4 个 公 因子 。10 个 行为 
【eg AvgRanks .084 —.090 .922 —.050 
A a — na ` 
E TAAA T P BY RAKE E fE T P R MaxRanks .043 .241 .892 .041 


荷 天 小 ,其 绝对 值 越 大 ,说 明 该 变量 与 公 因子 的 相关 程 
度 越 高 ,该 变量 应 该 归属 于 这 个 公 因 子 , 因 此 ,本 文选 
择 每 个 公 因 子 中 载荷 系数 较 大 的 变量 来 代表 该 公 因 
子 , 最 终 得 到 计算 信息 搜索 代价 的 基本 行为 集合 T= 
| NumBrowse .NumQueries , AvgRanks „Total DwellTime | 。 
需要 说 明 的 是 ,NumQueries 和 NumQueriesFirst- 
Download 这 两 个 变量 对 公 因 子 2 的 影响 非常 接近 且 均 
较 大 ,考虑 到 并 非 所 有 的 会 话 类 型 都 有 下 载 行为 ,本 文 
中 只 有 S M S 型 会 话 才 有 NumQueriesFirstDownload 
的 值 ,为 了 兼顾 计算 需要 ,选择 另 一 个 变量 NumQueries 
作为 基本 行为 。 
4.4 信息 搜寻 困难 程度 
4.4.1 各 种 类 型 会 话 的 信息 搜寻 困难 度 计算 
由 于 日 志 数 据 本 身 的 局 限 ,部 分 数据 需要 进行 缺 
失 值 的 合理 填充 和 平滑 。5。 中 没有 浏览 行为 ,用 户 


提交 查询 0 后 ,直接 产生 下 载 行为 D ,假设 用 户 对 下 载 
结果 的 判断 相当 于 一 次 页 面 浏览 , 则 可 以 把 表 9 中 5。 
会 话 的 NumBrowse 平均 值 设 为 1。 另 外 ,NSTL 日 志 中 
记录 的 是 用 户 对 查询 结果 的 翻 页 数 ,并 未 记录 用 户 所 
浏览 页 面 的 具体 位 序 , 本文 按照 NSTL 系统 每 页 默认 
的 显示 结果 数 10 条 /页 与 翻 页 数 进行 平滑 。 如 果 一 个 
NSTL 会 话 中 有 3 次 查询 行为 0, 分 别 为 qi 、9;、 和 g; ,各 
查询 的 翻 页 数 分 别 为 1.2.、3, 则 会 话 中 3 个 查询 对 应 的 
点 击 位 序 分 别 算 作 15.25.35, 则 得 到 该 会 话 的 
AvgRank 为 25,MaxRank 为 35。 按 照 3.4 节 公 式 1 和 
4.2 节 表 6, 求 得 各 类 型 会 话 的 基本 行为 均值 及 会 话 代 
价 数 据 , 见 表 9。 
4.4.2 学术 搜 索 与 通用 搜索 中 的 信息 搜寻 困难 程度 
按照 公式 (2) 计 算 学 术 搜 索 平台 中 用 户 信息 搜 寻 
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表 9 各 类 型 会 话 的 基本 行为 均值 及 会 话 代 价 


公 因 子 行为 指标 aa 8 S$ 
Hi NumBrowse 1.00 4.15 9.44 4.41 
H, NumQueries 1.36 3.36 4.34 1.80 
H3 AvgRanks 17.63 25.00 24.45 8.31 
H4 Total DwellTime 525.60 721.70 1307.60 38.20 

会 话 代 价 1 235 4.13 1.57 


的 平均 困难 程度 站。 选取 S, S, AS, 型 会 话 ,参照 表 5 
中 的 数值 ,并 从 总 量 中 刨 除 S, 重新 计算 占 比 , 即 得 到 
po =0. 332 ,p, =0. 443 ,p, = 0. 225, , 则 得 到 本 文 所 观察 
的 学 术 搜索 平台 NSTL 中 用 户 的 信息 搜寻 困难 度 为 F, 
=2.30。 如 果 将 本 文中 使 用 的 通用 搜索 平台 日 志 会 话 
视 为 只 有 S, 这 一 种 情况 , 则 得 到 通用 搜索 平台 的 搜索 
困难 度 为 F. =c, =1.57。 


5 分 析 与 讨论 


学 术 搜索 的 会 话 划分 
从 图 2 可 知 ,只 有 给 出 查询 并 下 载 文献 的 类 型 5。 
AGF AE ISIAH S, 具有 较 稳 定 的 时 长 。80% 
的 s91 型 会 话 持续 半分 钟 以 内 ,80% 的 S 型 会 话 持续 
5 全 分 钟 。 而 其 他 类 型 的 会 话 出 于 对 查询 主题 的 探索 
坊 是 ,都 具有 较 大 的 时 间 差 异 。 因 此 如 果 对 用 户 一 个 
看 淘 过 程 进 行 研究 ,按照 时 间 间 隔 划 分 会 话 的 做 法 不 
ey 仑 是 通用 搜索 还 是 学 术 搜索 ,都 很 难 找到 一 

合理 的 经 验 值 。 按 照 查询 主题 进行 会 话 划 分 更 合 
PÉKIN A LAEE ERIA, DUANE 
a S E E ARREN RRR 
5:95 学 术 搜 索 中 的 用 户 特点 

-总体 上 讲 , 学 术 搜索 用 户 对 所 查询 主题 的 耐心 比 
通用 搜索 用 户 更 大 ,愿意 付出 更 大 的 代价 ,行为 上 表现 
得 比较 复杂 。 本 文 按 行为 模式 不 同 将 学 术 搜 索 概括 为 
4 种 类 型 。 反 复查 询 和 浏览 详情 可 视 为 典型 的 探索 行 
为 ,在 S, S, 型 会 话 中 比较 普遍 , 从 单 轮 会 话 占 比 
24. 97% 和 37. 09% 可 看 出 ,多 数 情况 下 用 户 在 通过 反 
复查 询 .浏览 和 下 载 来 得 选 判 断 。 此 外 ,学 术 搜 索 中 的 
会 话 持续 时 间 普 遍 较 长 ,$, 型 会 话 虽 未 找到 下 载 目标 ， 
但 也 有 将 近 30% 的 会 话 持续 时 长 大 于 30 分钟。 在 通 
过 查询 和 浏览 详情 达到 目标 的 S, 型 会 话 中 ,将 近 50% 

的 会 话 时 长 大 于 30 分 钟 。 而 通用 搜索 环境 中 ,80% 的 
会 话 在 20 分 钟 以 内 结 
5.3 S, 型 会 话 放弃 查询 的 可 能 原因 

S, 型 会 话 中 ,用 户 停止 继续 搜寻 的 原因 或 许 是 查 

询 目 标 仅 为 寻找 文献 标题 ,需求 得 到 了 满足 ,但 更 可 能 
是 用 户 放弃 了 查询 。 放 弃 查 询 与 系统 的 资源 量 ,性 能 


用 户 自身 的 知识 等 都 有 关系 。 从 表 6 AS, 型 会 话 的 
查询 词 平均 长 度 WordQueryLen 为 6. 27 个 词语 ,与 So 
会 话 的 8.41 个 词语 相差 不 多 。5。 会 话 的 查询 有 需求 
明确 描述 详 细 的 特点 ,5, 型 会 话 的 查询 也 可 视 同 。 但 

S, 型 会 话 中 的 平均 查询 次 数 NumQueries 仅 为 1. 52 
次 ,用 户 并 未 尝试 多 次 查询 ,说明 用 户 放弃 的 原因 可 能 
是 系统 中 不 包括 用 户 所 需 资 源 ,导致 返回 结果 与 目标 
差别 很 大 ,用 户 判 断 不 必 翻 页 浏览 或 再 次 查询 ,就 转 
而 放弃 。 由 于 本 文 所 用 数据 中 S 型 会 话 占 比较 大 , 达 
到 44. 80% ,侧面 说 明了 NSTL 系统 的 资源 量 有 待 扩 
充 。 
5.4 学 术 搜索 系统 改进 分 析 

S, 和 S, 型 会 话 较 能 体现 用 户 持续 探索 的 特点 , 它 
们 的 总 数 占 系统 会 话 数 的 36. 86% , 多数 会 话 不 是 单 
轮 的 ,检索 过 程 经 历 了 曲折 。 用 户 反复 探索 固然 有 自 
身 需 求 复杂 的 原因 ,但 从 S, 型 会 话 的 WordQueryLen 为 
3.74 个 词语 来 看 ,这 类 会 话 的 查询 对 需求 的 描述 不 
足 , 系 统 可 以 用 查询 词 推荐 功能 辅助 用 户 表述 需求 , 减 
少 用 户 描述 需求 的 模糊 性 。 此 外 , 达成 目标 的 S, 、S$: 
型 只 占 总 数 的 30.75% ,$; 型 会 话 的 平均 查询 数 浏览 
数 和 下 载 数 分 别 为 4.34 .9. 44 .3.37 ,大 致 上 每 个 查询 
对 应 3.18 次 浏览 详情 ,产生 1 次 下 载 ,会 话 中 点 击 结 
果 的 最 大 位 序 平 均 是 41.04。 为 了 减少 用 户 浏 览 详 情 
的 时 间 开 销 , 系 统 可 以 通过 用 户 点 击 结果 改进 排序 算 
法 ,降低 搜寻 信息 的 困难 程度 。 


6 总结 与 展望 


本 文 探 讨 了 学 术 搜索 和 通用 搜索 中 用 户 的 信息 搜 
寻 困 难 。 首 先 , 根 据 学 术 搜 索 中 用 户 的 行为 构成 划分 
会 话 类 型 ,分析 每 种 类 型 会 话 中 用 户 的 搜索 代价 。 其 
次 ,通过 相关 性 分 析 和 因子 分 析 找 出 能 反映 搜寻 代价 
的 基本 行为 特征 ,构建 模型 来 度量 不 同 会 话 类 型 以 及 
不 同 搜索 平台 中 用 户 的 信息 搜寻 困难 程度 。 以 学 术 搜 
索 中 达到 搜索 目标 且 搜 索 代 价 最 小 的 会 话 类 型 5, 为 
基准 ,得 到 学 术 搜索 中 用 户 的 搜索 困难 程度 为 2. 30; 
通用 搜索 与 之 相 比 ,用 户 的 搜索 困难 程度 为 1.57。 可 
以 得 出 用 户 在 学 术 搜 索 中 面临 的 平均 困难 程度 大 于 通 
用 搜索 。 

以 往 关 于 用 户 搜索 困难 的 研究 多 是 基于 用 户 行为 
实验 ,而 用 户 行为 实验 是 在 受 控 的 情况 下 进行 的 ,研究 
人 员 需 要 提前 设 定 用 户 的 检索 任务 。 而 在 实际 检索 中 
昌 户 的 搜索 任务 是 潜在 的 无 法 预先 观察 的 ,并 且 可 能 
存在 一 段 时 间 内 交替 进行 多 个 检索 任务 的 情况 。 在 用 
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户 实验 中 ,用 户 检索 的 困难 程度 是 通过 检索 任务 本 身 
难度 和 用 户 自 我 评级 确定 ,存在 主观 标准 不 一 致 的 情 
况 。 因 此 本 文 可 以 为 后 续 基 于 日 志 数据 研究 用 户 的 搜 
索 困难 提供 新 的 思 

本 文 的 主要 贡献 有 ;中 所 1 一 种 信息 搜索 困难 程 
度 的 度量 方法 ,可 用 于 评价 不 同 搜索 环境 下 用 户 的 信 
息 搜寻 困难 。 丰 富 了 评价 指标 , 当 系 统 有 功能 改进 时 ， 
能 较为 容易 地 通过 计算 改进 前 后 用 户 搜索 会 话 的 困难 
程度 来 评价 系统 的 改进 效果 。@ 针 对 用 户 行 为 复杂 的 
学 术 搜索 环境 ,提出 根据 行为 模式 划分 会 话 类 型 的 方 
法 ,有 助 于 更 细致 地 比较 不 同 搜寻 情况 下 用 户 面临 的 
困难 ,可 以 依据 会 话 类 型 有 针对 性 地 改进 功能 。@ 根 
据 对 学 术 搜索 与 通用 搜索 中 用 户 信 息 搜寻 行为 代价 的 
比较 ,得 出 学 术 搜索 中 用 户 对 查询 主题 的 兴趣 更 持久 ， 
ne tao 
eee 
只 别 研究 提供 评测 数据 。 

些 不 足 , 在 根据 用 户 的 行为 特征 确 
污 盾 户 会 话 是 否 达 到 目标 时 ,因为 不 能 根据 日 志 数据 
SS LSC AU AE HEEL, TAL TF BPE IAS E R 
的 标志 。 这 个 假设 有 一 定 的 合理 性 ,但 不 能 涵盖 所 有 
适 避 目标 的 情况 ,在 今后 的 研究 中 ,可 以 将 大 规模 用 户 
时 与 用 户 调查 实验 相 结 合 ,对 用 户 的 查询 意图 进行 
更 深入 的 研讨 。 本 文 的 下 一 步 工 作 还 包括 对 会 话 进行 
六 入 化 划分 ,借助 机 器 学 习 的 算法 和 本 文中 人 工 划 分 
得 出 的 数据 实现 会 话 的 自动 划分 。 
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2 Abstract: | Purpose/significance | Users often faced different levels of information searching difficulties in 

Sséarch. In order to better understand user needs and improve the retrieval system, a concise and effective method was 
Meded to measure the difficulty of searching for information. | Method/ process | This study took the cost of effort on 

stime and behavior for queries as manifestation of users’ information seeking difficulty. The session type was divided 
人 ording to the user’ s behavior pattern in the session, the session type with the least cost and the query requirement 
was satisfied as the comparison baseline, and the cost of the baseline session was used to measure the difficulty of 
other session types. In order to optimize the expression model of the cost, the correlation test of the behavioral indica- 
tors of the search cost was carried out, and the behavioral characteristics with good independence and discrimination 
were selected by factor analysis for modeling. Using National Science and Technology Library (NSTL) logs and So- 
gou logs as data sets to compare the difficulty faced by users in both academic search and general search environ- 
ments, as well as during the exploration process represented by and different session types. | Result/conclusion | In 
the two search systems measured in this paper, the information search difficulty faced by users is 2.30 and 1.57 re- 
spectively, and the difficulty in academic search is higher than that in general search. In the two sessions that em- 
bodied the process of academic exploration, the difficulty levels were 2.35 and 4. 13 respectively. The method pro- 
posed in this paper can use simple numerical values to summarize the search difficulties with multiple influencing fac- 
tors, and can be used in different types of sessions and search environments, enriching the evaluation methods of the 
retrieval system. 
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